Quốc hội Hoa Kỳ thành lập Bộ Chiến tranh năm 1789 và Bộ Hải Quân Hoa Kỳ trong năm 1798. Bộ trưởng của mỗi bộ báo cáo trực tiếp cho Tổng thống với tư cách là Cố vấn Nội các.

Trong một thông điệp đặc biệt tới Quốc hội vào ngày 19 tháng 12 năm 1945, Tổng thống Harry Truman đề nghị thành lập một Bộ Quốc phòng thống nhất bởi vì cả hai vấn đề là quá lãng phí trong binh phí và các cuộc xung đột giữa các bộ. Các cuộc bàn cãi trong Quốc hội xảy ra trong nhiều tháng mà trọng điểm là vai trò của quân đội trong xã hội và mối đe dọa trong việc công nhận quá nhiều khả năng quân sự cho một bộ phận nhất định.

Vào ngày 26 tháng 7 năm 1947, Truman ký Đạo luật An ninh Quốc gia năm 1947, lập ra một Bộ chỉ huy Quân sự thống nhất được biết đến với tên Tổ chức Quân sự Quốc gia (tiếng Anh: National Military Establishment), cũng như thành lập Cục Tình báo Trung ương (Central Intelligence Agency), Hội đồng An ninh Quốc gia (National Security Council), Hội đồng Quản trị Tài nguyên An ninh Quốc gia (National Security Council), Lực lượng Không quân Hoa Kỳ (United States Air Force) và Bộ tổng Tham mưu (Joint Chief of Staff).

Hiệp định này đặt Tổ chức Quân sự Quốc gia dưới quyền của một Bộ trưởng Bộ Quốc phòng duy nhất. Tổ chức Quân sự Quốc gia bắt đầu hoạtđộng vào ngày 18 tháng 9, sau ngày Thượng Nghị Viện Hoa Kỳ xác nhận James V. Forrestal là Bộ trưởng Bộ Quốc phòng đầu tiên. Tổ chức Quân sự Quốc gia được đổi tên thành "Bộ Quốc phòng Hoa Kỳ" vào ngày 10 tháng 8 năm 1949 trong một sự sửa đổi của bộ luật năm 1947.

Dưới Đạo luật Tái tổ chức Bộ Quốc phòng Hoa Kỳ năm 1958, các chức sắc trong bộ được sắp xếp lại trong khi vẫn duy trì được quyền thế của Bộ Quân sự. Bộ luật này cũng chu cấp một Tổ chức Nghiên cứu Trung ương, Cơ quan Đặc trách Kế hoạch Nghiên cứu Quốc phòng Cao cấp (Defense Advanced Research Projects Agency), được biết đến với tên gọi DARPA. Đạo luật chuyển quyền ra quyết định từ Bộ Quân sự cho Bộ tổng Tham mưu và Bộ trưởng Bộ Quốc phòng. Nó còn gia cố quyền chỉ huy Quân đội Hoa Kỳ từ Tổng thống sang Bộ trưởng Bộ Quốc phòng. Được viết và đề xướng bởi chính quyền Eisenhower, được ký thành luật pháp vào ngày 6 tháng 8 năm 1958.